光学系统的可区分模拟可以与基于深度学习的重建网络结合使用,以通过端到端(E2E)优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序(例如3D定位显微镜,深度估计和无透镜摄影)通过优化局部光学编码器。更具挑战性的计算成像应用,例如将3D卷压入单个2D图像的3D快照显微镜,需要高度非本地光学编码器。我们表明,现有的深网解码器具有局部性偏差,可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络(Fouriernets)基于浅神经网络体系结构的解码器来解决此问题。我们表明,在高度非本地分散镜头光学编码器捕获的照片中,傅立叶网络超过了现有的基于网络的解码器。此外,我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合,我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态,并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。
translated by 谷歌翻译
Efforts to improve the adversarial robustness of convolutional neural networks have primarily focused on developing more effective adversarial training methods. In contrast, little attention was devoted to analyzing the role of architectural elements (such as topology, depth, and width) on adversarial robustness. This paper seeks to bridge this gap and present a holistic study on the impact of architectural design on adversarial robustness. We focus on residual networks and consider architecture design at the block level, i.e., topology, kernel size, activation, and normalization, as well as at the network scaling level, i.e., depth and width of each block in the network. In both cases, we first derive insights through systematic ablative experiments. Then we design a robust residual block, dubbed RobustResBlock, and a compound scaling rule, dubbed RobustScaling, to distribute depth and width at the desired FLOP count. Finally, we combine RobustResBlock and RobustScaling and present a portfolio of adversarially robust residual networks, RobustResNets, spanning a broad spectrum of model capacities. Experimental validation across multiple datasets and adversarial attacks demonstrate that RobustResNets consistently outperform both the standard WRNs and other existing robust architectures, achieving state-of-the-art AutoAttack robust accuracy of 61.1% without additional data and 63.7% with 500K external data while being $2\times$ more compact in terms of parameters. Code is available at \url{ https://github.com/zhichao-lu/robust-residual-network}
translated by 谷歌翻译
Despite the recent progress in language generation models, their outputs may not always meet user expectations. In this work, we study whether informational feedback in natural language can be leveraged to improve generation quality and user preference alignment. To this end, we consider factual consistency in summarization, the quality that the summary should only contain information supported by the input documents, for user preference alignment. We collect a high-quality dataset, DeFacto, containing human demonstrations and informational feedback in natural language consisting of corrective instructions, edited summaries, and explanations with respect to the factual consistency of the summary. Using our dataset, we study two natural language generation tasks: 1) editing a summary using the human feedback, and 2) generating human feedback from the original summary. Using the two tasks, we further evaluate if models can automatically correct factual inconsistencies in generated summaries. We show that the human-edited summaries we collected are more factually consistent, and pre-trained language models can leverage our dataset to improve the factual consistency of original system-generated summaries in our proposed generation tasks. We make the DeFacto dataset publicly available at https://github.com/microsoft/DeFacto.
translated by 谷歌翻译
Cartoons are an important part of our entertainment culture. Though drawing a cartoon is not for everyone, creating it using an arrangement of basic geometric primitives that approximates that character is a fairly frequent technique in art. The key motivation behind this technique is that human bodies - as well as cartoon figures - can be split down into various basic geometric primitives. Numerous tutorials are available that demonstrate how to draw figures using an appropriate arrangement of fundamental shapes, thus assisting us in creating cartoon characters. This technique is very beneficial for children in terms of teaching them how to draw cartoons. In this paper, we develop a tool - shape2toon - that aims to automate this approach by utilizing a generative adversarial network which combines geometric primitives (i.e. circles) and generate a cartoon figure (i.e. Mickey Mouse) depending on the given approximation. For this purpose, we created a dataset of geometrically represented cartoon characters. We apply an image-to-image translation technique on our dataset and report the results in this paper. The experimental results show that our system can generate cartoon characters from input layout of geometric shapes. In addition, we demonstrate a web-based tool as a practical implication of our work.
translated by 谷歌翻译
经验丰富的用户通常在解决现实世界优化问题方面具有有用的知识和直觉。用户知识可以作为可变关系的配方,以帮助优化算法更快地找到良好的解决方案。此类间相互作用也可以自动从优化运行中的中间迭代中发现的高性能解决方案中自动学习 - 一种称为Innovization的过程。如果用户对这些关系进行审查,则可以在新生成的解决方案中执行,以将优化算法引导到搜索空间中实际上有希望的区域。对于大规模问题,这种可变关系的数量可能很高,就会出现挑战。本文提出了一个基于交互式知识的进化多目标优化(IK-EMO)框架,该框架将隐藏的可变关系提取为从不断发展的高性能解决方案中的知识,与用户共享它们以接收反馈,并将其应用于优化提高其有效性的过程。知识提取过程使用系统而优雅的图形分析方法,该方法与变量数量很好地缩放。在三个大规模的现实世界工程设计问题上证明了拟议的IK-EMO的工作。提出的知识提取过程和高性能解决方案的实现的简单性和优雅迅速表明了所提出的框架的力量。提出的结果应激发进一步的基于相互作用的优化研究,以实践其常规使用。
translated by 谷歌翻译
随着政治态度在美国的意识形态上存在分歧,政治言论在lingus言中有所不同。美国政党之间不断扩大的两极分化是由于它们之间的相互理解的侵蚀而加速了。我们的目的是通过一个框架来使这些社区相互了解,该框架使用社区语言模型社区LM对社区特定的回答进行了针对社区的回答。在我们的框架中,我们在Twitter上确定了每个社区的党派成员,并在他们撰写的推文上进行了微调LMS。然后,我们使用对相应的LMS的及时探测两组的世界观,并提示对美国国家选举研究(ANES)2020年探索性测试调查提出对公共人物和群体的意见。我们将LMS与ANES调查结果产生的响应进行比较,并找到一定级别的对齐水平,该级别大大超过了几种基线方法。我们的工作旨在表明,我们可以使用社区LMS来查询任何一群人的世界观,以提供足够大的社交媒体讨论或媒体饮食。
translated by 谷歌翻译
近年来,无人驾驶飞机(UAV)在监视的背景下获得了重大吸引力。但是,从空中观察点捕获暴力和非暴力人类活动的视频数据集很少。为了解决这个问题,我们提出了一个新颖的基线模拟器,该模拟器能够生成参与各种活动的人群的光真实合成图像,这些序列可以归类为暴力或非暴力。人群组用使用语义分割自动计算的边界框注释。我们的模拟器能够产生大型的随机城市环境,并且能够在中端计算机上平均每秒保持25帧,并具有150个并发的人群相互作用。我们还表明,当来自现实世界数据增强所提出的模拟器的合成数据时,二进制视频分类精度平均提高了5%。
translated by 谷歌翻译
网络体系结构设计的持续进步导致了各种具有挑战性的计算机视觉任务的深入学习取得的显着成就。同时,神经体系结构搜索(NAS)的开发提供了有前途的方法来自动化网络体系结构的设计,从而获得较低的预测错误。最近,深入学习的新兴应用程序方案提高了考虑多个设计标准的网络体系结构的更高需求:参数/浮点操作的数量以及推理延迟等。从优化的角度来看,涉及多个设计标准的NAS任务是本质上多目标优化问题。因此,采用进化的多目标优化(EMO)算法来解决它们是合理的。尽管如此,仍然存在一个明显的差距,将相关研究沿着这一途径限制:一方面,从优化的角度出发,缺乏NAS任务的一般问题。另一方面,在NAS任务上对EMO算法进行基准评估存在挑战。弥合差距:(i)我们将NAS任务制定为一般的多目标优化问题,并从优化的角度分析复杂特征; (ii)我们提出了一条端到端管道,称为$ \ texttt {evoxbench} $,以生成Emo算法的基准测试问题,以有效运行 - 无需GPU或Pytorch/tensorflow; (iii)我们实例化了两个测试套件,全面涵盖了两个数据集,七个搜索空间和三个硬件设备,最多涉及八个目标。基于上述内容,我们使用六种代表性的EMO算法验证了提出的测试套件,并提供了一些经验分析。 $ \ texttt {evoxBench} $的代码可从$ \ href {https://github.com/emi-group/evoxbench} {\ rm {there}} $。
translated by 谷歌翻译
深度神经网络(DNNS)从他们学到的表示中汲取了力量。然而,近年来,研究人员发现,DNN在学习复杂的抽象方面非常有效,但由于培训中固有的虚假相关性,也倾向于感染工件,例如偏见,聪明的汉斯(CH)或后门。数据。到目前为止,在训练有素的模型中发现此类人为和恶意行为的现有方法集中在输入数据中查找工件,这既需要数据集的可用性,又需要人为干预。在本文中,我们介绍了dora(数据不可能的表示分析):第一种自动数据敏捷方法,用于检测深神经网络中潜在感染的表示。我们进一步表明,Dora发现的受污染表示形式可用于检测任何给定数据集中的受感染样品。我们在定性和定量评估我们在受控的玩具场景和现实环境中提出的方法的性能,在这里我们证明了Dora在安全至关重要的应用中的好处。
translated by 谷歌翻译
败血症是一种威胁生命的患有器官功能障碍的疾病,是全球死亡和重症疾病的主要原因。急诊科分类过程中败血症的准确检测将允许尽早开始实验室分析,抗生素给药和其他败血症治疗方案。这项研究的目的是确定是否可以将EHR数据与最新的机器学习算法(Kate Sepsis)和临床自然语言处理一起提取和合成,以产生准确的脓毒症模型,并将Kate Sepsis与现有的败血症筛查方案进行比较爵士和QSOFA。使用来自16家参与医院的分类数据的患者遇到的患者遭遇开发了机器学习模型(Kate Sepsis)。凯特败血症,SIRS,标准筛查(具有感染源的SIRS)和QSOFA在三个设置中进行了测试。队列A是对单个站点1的医疗记录的回顾性分析。同类B是对位点1的前瞻性分析1.同伴C是对站点1的回顾性分析,并有15个地点。在所有队列中,凯特败血症的AUC为0.94-0.963,TPR为73-74.87%和3.76-7.17%FPR。标准筛选显示AUC为0.682-0.726,TPR为39.39-51.19%和2.9-6.02%FPR。 QSOFA协议的AUC为0.544-0.56,TPR为10.52-13.18%和1.22-1.68%FPR。对于严重的败血症,在所有队列中,凯特败血症的AUC为0.935-0.972,TPR为70-82.26%和4.64-8.62%FPR。对于败血性休克,在所有队列中,凯特败血症的AUC为0.96-0.981,TPR为85.71-89.66%和4.85-8.8%FPR。 SIRS,标准筛选和QSOFA表现出严重败血症和败血性休克检测的低AUC和TPR。凯特败血症在分类中提供的败血症检测性能比常用的筛查方案更好。
translated by 谷歌翻译